长程持续学习中的 Harness-模型协同框架
🧭 Agent 持续学习 · 经验检索与参数更新协同
Huzhou Normal University · Alibaba Group · Zhejiang University · Ningxia University
HaMo 将轨迹蒸馏为策略经验卡供即时检索，并以经验条件持续学习目标实现快慢协同，提升长程 Agent 的保留与迁移能力。
📌 工作参考价值（4 点）
- 在电商/Web agent 中，把成功购物、搜索、交易等多步轨迹压缩成策略级经验卡（目标、前置条件、操作步骤、适用上下文），检索时按当前任务上下文召回，而不是直接存原始 log，可降低噪声并提升跨任务复用。
- 采用快慢结合：线上先走非参数记忆即时复用，离线用检索覆盖度筛选「紧凑且互补」的少样本轨迹做参数更新，避免频繁全量训练和遗忘；该思路可直接迁移到推荐系统的持续学习/增量训练。
- 经验条件训练目标可迁移到 RAG-style agent：不仅把检索到的策略拼进 prompt，还要用专门目标让模型学会读懂检索结果、判断其是否适用、并按策略执行，这比单纯加外部 memory 更稳定。
- 若做导购、push 文案、搜索 query 生成等长程任务，可建立跨 session 流程经验库，按场景召回候选策略，再用小模型微调内化，兼顾线上 latency 与跨域泛化。
反思、修订、复用：GUI Agent 的无训练技能演化
🧭 GUI Agent 技能演化 · 训练自由反思修订
Zhejiang University · UESTC
提出训练自由的 EvoSkill-GUI，将技能作为多文件包通过反思-修订-复用循环持续从执行反馈中改进，在三大 GUI 基准上最多提升 16.2%
📌 工作参考价值（4 点）
- 技能包多文件结构化：将 retrieval metadata、plans、backup localization、failure-recovery rules、failure cases 分文件管理，业务 Agent（如客服自动化、营销流程）可借鉴把关键过程知识模块化，方便局部更新，避免整体重写。
- 反思-修订-复用闭环：部署后从失败轨迹自动修订技能，不需重新训练模型；推荐/广告 Agent 可利用线上失败样本持续改进执行策略，提升动态环境鲁棒性。
- 即时 in-rollout 修订 + 隔离 critic：执行时遇到弹窗/页面变化可立刻根据备用定位和恢复规则调整；critic 在信息隔离下诊断避免被错误轨迹污染，对构建可靠自动化流程有参考。
- 训练自由，低成本迭代：无需 GPU 训练，仅依赖 LLM 推理与文件编辑，适合需要快速适应界面改版或流程变化的电商运营自动化场景。
从代码大规模合成有依据的智能体技能
🧭 代码挖掘 · 技能合成 · Agent 流程增强 ★ 深度解读
Ant International
Code2Skill 从 GitHub 代码挖掘并验证 100 万+可复用技能，检索增强后智能体平均提升 11.7%
📌 工作参考价值（4 点）
- 构建可复用的业务 skill bank：不只依赖 agent 轨迹，可把推荐/广告/搜索系统中的特征工程、策略规则、pipeline 代码片段蒸馏为带 when-to-use、invariants、anti-goals 的技能卡，供 LLM Agent 检索增强。
- 用 source-body-blind reconstruction 做 grounding 质检：只给技能描述让 LLM 重构实现，再用 source-aware judge 对比源实现过滤不支持或过度概括的记录，能有效抑制技能库幻觉，可迁移到知识库/规则库审核。
- 技能注入位置比数量更重要：planning-time 与 post-generation critique 比 generation-time prompting 更稳；RL 中作为 reviewer 提升最大。业务上优先把检索到的技能/知识放到规划、评审或 verifier 侧，而不是直接拼进生成 prompt。
- 用 compact summary 替代完整记录可减少约 89% context 且性能不降，适合降低 LLM 调用成本与 KV cache 压力；对候选技能做摘要化而非全量拼接。
多模态资源蒸馏：为软件智能体构建可执行技能库
🧭 多模态技能蒸馏与智能体执行
Microsoft Research · University of California, Santa Cruz · Shanghai Jiao Tong University
从视频、代码、文章等资源蒸馏可执行技能，以层次化多模态技能维基提升智能体在7个创作领域的表现，平均总分提升11.9个百分点
📌 工作参考价值（4 点）
- Agent 技能库构建范式：在电商场景中，可将商品详情页生成、广告创意制作、活动页面搭建等重复性任务拆解为技能，从现有的视频教程、设计模板、代码仓库等多模态资源中自动蒸馏出可执行技能，而非手工编写。
- 多模态技能表示 trick：每个技能条目同时包含结构化文本（步骤描述）、代码片段（可执行工具调用）、视觉示例（关键帧截图）和元数据，这种多信号互补的设计能显著提升 Agent 对操作流程的理解和生成质量，值得在涉及视觉/交互的任务中借鉴。
- 层次化组织与按需检索：技能库采用树状层次结构，Agent 在推理时根据任务目标动态检索并组合子技能；当现有技能覆盖不足时，还能在线从资源中实时获取新技能——这种“存量+增量”的机制可迁移到需要持续扩展能力的电商 Agent 系统中。
- 消融实验结论复用：多模态格式、层次组织、多源资源、选择策略和在线获取都对性能有显著增益，说明在构建类似的 Agent 技能系统时，这些组件都有必要保留。
MMSkills：面向通用视觉智能体的多模态技能框架
🧭 视觉智能体 · 多模态技能复用
Shanghai Jiao Tong University · Xiaohongshu Inc. · Southeast University
提出多模态技能包（状态卡片+关键帧+文本过程），并通过分支加载机制提升视觉Agent决策。
📌 工作参考价值（4 点）
- 可借鉴多模态技能包构建方式：将电商操作流程（如商品搜索、下单）封装为文本过程+关键状态截图+状态描述卡片，减少Agent推理时的图像上下文开销。
- 利用非评测的用户交互轨迹（如公开的购物会话）自动生成可复用技能库，通过工作流分组和视觉接地减少人工标注成本。
- 分支加载机制可集成到电商Agent中：在临时上下文里对比当前界面与技能包中的关键帧，对齐状态后才给出操作建议，避免直接参考静态截图导致的过锚定。
- 多模态过程知识对外部技能库的补充思路，可推广到生成式推荐中的多模态用户意图理解，用类似状态卡片描述用户当前搜索上下文。